РЕШЕНО:
1) Центр пакетов - Настройки - Основное - Уровень доверия - Любой разработчик
2) Центр пакетов - Настройки - Источники пакетов - Добавить - http://spk.synologyitalia.com/?arch=evansport
3) Центр пакетов - Сообщество - FFmpeg - установить
Теперь Synology воспроизводит DTS 
Чтобы через Apple TV аудиодорожка DTS проигрывалась в формате 5.1 (по умолчанию идет стерео), надо сделать следующее:
1) заставить synology перекодировать на лету DTS в формат AC3 (который понимает apple)
2) для этого отредактировать файл, расположенный в /volume1/@appstore/VideoStation/etc/TransProfile
3) в этом файле в строке
mpegts_remux_lame_ab256_ac2": "-threads 0 -vcodec copy -vsync 2 -vbsf h264_mp4toannexb -acodec libmp3lame -ab 256k -ac 2 -f ssegment
заменить
mpegts_remux_lame_ab256_ac2": "-threads 0 -vcodec copy -vsync 2 -vbsf h264_mp4toannexb -c:a ac3 -b:a 640k -f ssegment
P.S. Проверено на DS214play